import scrapy


class XiaoyouxiSpider(scrapy.Spider):
    name = "xiaoyouxi"  #当前爬虫的名字
    allowed_domains = ["4399.com"]  #允许爬取的地址（域名）
    start_urls = ["https://www.4399.com/flash/"]  #第一个爬取的网页路径地址

    def parse(self, response):
        # 在scrapy中可以直接调用xpath或css方法对页面进行解析
        lilist=response.xpath("//*[@id='skinbody']/div[8]/ul/li")
        for li in lilist:
            # 使用xpath进行定位元素，默认会返回一个选择器
            # extract可以使用该方法将选择器中的内容提取出来
            # 若返回的结果中只包含一条数据，可以直接调用extract_first方法进行提取结果
            game_name=li.xpath("./a/b/text()").extract_first()
            game_type=li.xpath("./em/a/text()").extract_first()
            game_date=li.xpath("./em/text()").extract_first()
            dict1={
                "game_name":game_name,
                "game_type":game_type,
                "game_date":game_date
            }
            # 将最终的数据结果返回
            yield dict1
        pass
